Atención Lineal Kalman: Filtrado Bayesiano Paralelo para Lenguaje
Descubre KLA: Atención Lineal de Kalman, un filtrado bayesiano paralelo que supera a Mamba y GLA en modelos de lenguaje.
#atención lineal
Transiciones de fase en atención: teoría bayesiana de emergencia de copia
Descubre cómo la teoría bayesiana explica la aparición abrupta de patrones de copia en la atención de transformers. Un estudio sobre transiciones de fase.
Atención Lineal Dinámica: Optimizando LLMs para Contextos Largos
DLA optimiza la atención en LLMs fusionando estados dinámicamente, reduciendo errores y manteniendo rendimiento en contextos largos.
SinkRec: Mitigación del hundimiento semántico en secuencias largas
Descubre SinkRec: modelo que mitiga el hundimiento semántico en recomendaciones de secuencias largas con memoria condicionada y redes delta. Eficiente.
Diversidad de tareas y aprendizaje en contexto en subespacios
Descubre cómo la diversidad de tareas de entrenamiento mejora el aprendizaje en contexto en transformers lineales. Un análisis teórico con subespacios de baja dimensión.
Inversión óptima de matrices con multiplicación para atención lineal cuantizada
Aceleración 5x en atención lineal en NPU con inversión de matrices solo multiplicación, reduciendo 20% sobrecarga sin perder precisión.
NAtS-L: Búsqueda de Atención Neuronal para Modelos Híbridos por Token
Descubre cómo NAtS-L optimiza transformers combinando atención lineal y softmax por token, reduciendo coste sin perder expresividad en contextos largos.
Destilar luego Reemplazar: Modelos Híbridos de Atención Eficientes
DtR transforma transformers preentrenados en modelos híbridos eficientes mediante destilación y reemplazo de capas. Obtén precisión con menor costo computacional.
Prototype Transformer: hacia modelos interpretables por diseño
ProtoT usa prototipos para modelos de lenguaje interpretables, permitiendo transparencia y ediciones dirigidas.
No leas todo: Consulta condicionada por curvatura para atención lineal
Mejora la recuperación en contexto y la extrapolación de longitud en atención lineal usando una consulta condicionada por curvatura (CCQ), con bajo costo adicional.
Ajuste fino sin olvidar el aprendizaje en contexto: modelos de atención lineal
Descubre cómo afinar modelos de atención lineal sin perder el aprendizaje en contexto. Consejos teóricos para mejorar el rendimiento zero-shot.
Memoria por Diseño: Capas de Secuencia Probabilísticas
Descubre cómo las capas probabilísticas bayesianas mejoran la memoria en modelos de secuencias, reduciendo incertidumbre y aumentando robustez más allá del entrenamiento.